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РЕЙТИНГОВЫЙ МЕТОД КОМПЛЕКСНОЙ АТТЕСТАЦИИ 
ПРЕПОДАВАТЕЛЕЙ СИСТЕМЫ 
ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ 


Деятельность преподавателя системы высшего профессионального 
образования отличается значительным количеством особенностей, ко- 
торые трудно учесть при проведении комплексной аттестации. Особые 
трудности возникают, если необходимо получить одну итоговую, обоб- 
щенную оценку. В этом случае почти везде и почти всегда приходится 
сталкиваться с оценкой в виде так называемого «рейтинга», который, 
как правило, представляется в виде взвешенной суммы: 


ВЕХ м г. (1) 


где г — оценка преподавателя по 1-му критерию (1 от 1 до п); \, - вес 1-го 
критерия. 


Трудность в том, что эта формула не всегда дает верный результат! 
Неискушенного читателя это утверждение обычно приводит в недоуме- 
ние. Следуют заявления вроде того, что приведенная формула «соответ- 
ствует здравому смыслу», или «отвечает интуитивному представлению 
о сравнительном качестве преподавателей» и т. п. Однако, все не так 
очевидно. 

Обратимся, прежде всего, к оценкам. Условно разделим оценки на 
«объективные» и «экспертные». Эксперта упрощенно можно рассма- 
тривать как некий «измерительный прибор». Возникает вопрос о точ- 
ности, с которой этот «прибор» может измерять. Ответ на этот вопрос 
дан в классической работе Миллера [1]. Там показано, что эксперт чаще 
всего не способен различать более 7 неименованных градаций. Однако, 
сплошь и рядом приходится сталкиваться с ситуацией необоснованного 
использования шкал размерностью выше 7. Например, очень популярна 
неименованная 10-балльная шкала. 

Нередки попытки получить от эксперта информацию в такой форме, 
в которой он не может дать ее с достаточной надежностью. Последние 
результаты исследований по этому вопросу приведены в книге Лариче- 
ва О. И. и Мошкович Е. М. [2]. 
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Не менее серьезные проблемы связаны с критериями. Прежде всего, 
не всегда удается обосновать тот набор критериев, который необходим 
и достаточен для выполнения конкретной аттестации преподавателей. 
Может показаться, что набор критериев «естественно» возникает в каж- 
дой конкретной задаче. Но, увы, это далеко не так. 

Еще сложнее обстоит дело с весами критериев. Можно даже сказать, 
что веса критериев — самое тонкое место в проблеме критериального 
анализа деятельности преподавателей. Чаще всего веса назначают, ис- 
ходя из интуитивного представления о сравнительной важности крите- 
риев. Однако исследования показывают, что человек (эксперт) не спосо- 
бен непосредственно назначать критериям корректные численные веса. 
Необходимы специальные процедуры получения весов. 

Итак, при серьезном рассмотрении выходит, что и оценки по крите- 
риям и сами критерии с их весами зачастую имеют весьма сомнительное 
происхождение. Вне поля критики осталась собственно операция сум- 
мирования. Оказывается, что такая операция в данном случае не всегда 
корректна! В классической книге американских математиков Р. Л. Кини 
и Х. Райфа [3] строго доказано, что подобная формула корректна только 
тогда, когда все критерии попарно независимы по предпочтению. Что 
такое «зависимость» критериев, какие виды зависимости бывают и что 
из этого следует - все это выходит за рамки данной статьи. 

Кроме того, оказывается, что сумма оценок основана на следующем 
неявном постулате: «низкая оценка по одному критерию может быть 
компенсирована высокой оценкой по другому критерию». Однако, этот 
постулат верен отнюдь не всегда. Например, пусть качество оператора 
ввода текстов оценивается двумя критериями: 1) скорость ввода (симво- 
лов в минуту) и 2) среднее количество ошибок на страницу текста. Оче- 
видно, что ухудшение качества ввода (увеличение количества ошибок) 
не может быть компенсировано увеличением скорости ввода. Можно 
даже сказать, что в области оценки преподавателей такая ситуация ти- 
пична. Скажем, недостаток компетентности не может быть компенсиро- 
ван повышенным уровнем активности. 

В итоге, можно сказать, что ценность подобных «рейтингов» вызы- 
вает серьезные сомнения. Более того — они скорее вредны, поскольку 
дают искаженную картину реальности. 

Почему же происходят все эти неприятности? Почему с таким по- 
стоянством применяется формула (1)? Ответ очевиден — кадровики, кон- 
сультанты и прочие представители системы высшего профессиональ- 
ного образования, как правило, не знакомы с корректными методами 
построения обобщенных оценок. 

Причем речь идет не только о численных методах. Понятно, что 
слово «математический» прежде всего ассоциируется с понятием «чис- 
ло». Однако современная математика научилась оперировать не только 
числами. С начала 70-х годов прошлого века под влиянием запросов 
прикладных исследований в технических, медицинских и социально- 
экономических науках в России активно развивается статистика объек- 
тов нечисловой природы, известная также как статистика нечисловых 
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данных или нечисловая статистика. Нельзя не отметить, что в создании 
этой сравнительно новой области прикладной математической стати- 
стики приоритет принадлежит российским ученым. Нетрудно показать, 
что при оценивании преподавателей применимы как числовые, так и 
нечисловые (например, ранговые) подходы. Только делать это надо гра- 
мотно, подбирая подходящий метод к конкретной ситуации. Посколь- 
ку рамки статьи не позволяют рассмотреть все подходы, сосредоточим 
внимание только на численных методах, а точнее — на одной числовой 
модели. 


Определение терминов 

Когда говорят «оценка», подразумевают использование какого-либо 
инструмента измерения. Оценить по существу означает измерить. Если 
мы оцениваем, например, квартиру, то мы пытаемся «измерить» ее в 
денежных единицах. Что же измеряют при оценивании преподавателя? 
Условно можно считать, что измеряется некоторое «качество» препода- 
вателя как сотрудника, обучающего студентов. Это качество определя- 
ется одним или несколькими критериями. Дадим следующие определе- 
НИЯ. 

Оценивание — процедура получения числа, выражающего «качество» 
преподавателя. Условимся называть это число рейтингом преподава- 
теля. 

Объект оценивания — преподаватель вуза. 

Субъекты оценивания: 

. сам преподаватель (если используется самооценка) 

сослуживцы (того же административного уровня, что и препода- 
ватель) 

. руководители преподавателя (зав. кафедрой, декан, и т. д.) 

. студенты 

* Психологи 

. специалисты предметной области, знание которой необходи- 
мо преподавателю в его работе 

. сотрудники кадровой службы вуза 

В случае использования компьютерного тестирования можно услов- 
но считать субъектом оценивания также автора (авторов) теста. Оценку 
сослуживцев коллегами и начальниками преподавателя назовем взаи- 
мооценкой. 

Критерии - факторы, показатели, определяющие «качество» препо- 
давателя. 

Примеры критериев: 

* Степень владения профессиональными навыками. 

. Умение работать в коллективе. 

ЛПР - «лицо, принимающее решение» (или группа таких лиц). Этой 
аббревиатурой будем обозначать тех руководителей вуза и кадровых 
служб, которые будут принимать все ответственные решения, связанные 
с организацией и проведением работ по оценке преподавателей. 
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Уточнение задачи оценивания 

Прежде всего, зададимся вопросом: сколько рейтингов мы хотим по- 
лучить? Один интегральный (обобщенный) или несколько частных? На- 
пример, можно получить два частных рейтинга: 1) рейтинг профессио- 
нальных качеств и 2) рейтинг качеств личности. Стоит ли объединять 
их в один обобщенный? При этом важен и другой вопрос: можно ли 
корректно построить обобщенную оценку на основе частных? На вто- 
рой вопрос ответ есть: можно. Область прикладной математики, в кото- 
рой исследуются и развиваются подобные методы, получила наименова- 
ние «Оес1з1оп ЗЭс1епсе» (в русскоязычной литературе часто переводится 
как «Поддержка принятия решений»). Что же касается первого вопроса, 
то, вообще говоря, однозначного ответа на него нет. Все определяется 
целью оценивания. Для определенности в данной статье условимся счи- 
тать, что нам нужен один обобщенный рейтинг. 


Достоверность оценивания 

При обсуждении любого рейтинга неизменно встает вопрос о его до- 
стоверности. В этом разделе будет представлен математически коррект- 
ный способ оценки достоверности рейтинга. 

Прежде всего, займемся взимооценкой. Предложим всем преподава- 
телям вуза заполнить следующую анкету. 


Таблица 1. Степень знания коллег 




































































Перечислите преподавателей, которых Вы знаете 
Профессиональные качества Качества личности 
Знаю очень хорошо: Знаю очень хорошо: 
(фамилии) (фамилии) 
Знаю хорошо: Знаю хорошо: 
(фамилии) (фамилии) 
Знаю удовлетворительно: Знаю удовлетворительно: 
(фамилии) (фамилии) 


















































На основе таких анкет можно построить базу данных, содержащую 
степень знания преподавателями друг друга. Будем считать, что степень 
знания — это безразмерная величина в диапазоне от 0 (полное незнание) 
до | (абсолютно полное знание). Договоримся, что абсолютным знани- 
ем не может обладать никто и никогда. Тогда, к примеру, можно пред- 
ложить такую шкалу: 


Таблица 2. Шкала числовых эквивалентов качественных оценок 
степени знания 





















































Степень знания числовой эквивалент 
очень высокая 0,9 
высокая 0,7 
средняя (невысокая) 0,5 
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Заметим, что низкая степень знания или отсутствие такового нас не 
интересуют и поэтому не рассматриваются. 

Если мы собираемся использовать взаимооценку, то очевидно, во- 
первых, что чем выше степень знания субъектов оценивания об объекте, 
тем выше достоверность оценки. 

Далее, пусть некоторого преподавателя Х будут оценивать М других 
преподавателей. Тогда нам понадобится также следующая таблица. 


Таблица 3. Оценка степени доверия субъективным мнениям 



































Субъект оценивания степень знания объекта Х степень доверия ЛПР 
Субъект-1 Р, Е 
Субъект-М р, ы 





















































Нетрудно заметить, что в последней таблице появилась новая вели- 
чина — степень доверия ЛПР. Определим ее как безразмерную величи- 
ну в диапазоне от 0 (отсутствие доверия) до 1 (полное доверие). Будем 
считать, что эта величина выражает степень доверия ЛПР к степени зна- 
ния конкретного субъекта о конкретном объекте. Например, в последней 
таблице величина { выражает степень доверия ЛПР к тому, что степень 
знания субъектом-1 объекта Х равна р,. Поскольку каждый объект оце- 
нивания в данной технологии оценивается несколькими субъектами, то 
для сведения набора степеней доверия объекта оценки к одной (инте- 
гральной) степени доверия нам потребуется соответствующая функция. 
Обозначим ее как 


У=Ф (ро, (2) 


т. е. аргументами функции являются наборы степеней знания и степеней 
доверия. 

Важно отметить, что функция (2) позволяет не только получить ин- 
тегральную степень доверия для каждого объекта оценивания, но и рас- 
считать обобщенную степень доверия для всей работы. Полученную 
таким образом величину можно рассматривать как степень достовер- 
ности рейтинга. 

У читателя может возникнуть вопрос: для чего вводить подобные 
усложнения? Нельзя ли, к примеру, обойтись без такой неочевидной ве- 
личины, как {? Оказывается — нельзя. Существуют веские обоснования 
необходимости всех компонентов этой математической модели (см. ра- 
боту Руссмана [8]). Все, что может показаться излишним, на самом деле 
жестко требуется для обеспечения корректности оценивания. 


Критерии: их шкалы и веса 

Ясно, что набор критериев оценки управленцев не может совпадать 
с набором критериев для оценки рабочих и/или специалистов. Стало 
быть, для каждого типа объекта оценивания должен быть разработан 
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перечень критериев оценки объектов этого типа. Технологию формиро- 
вания наборов критериев оставим за рамками данной статьи. Отметим 
только, что набор критериев должен быть достаточно стабилен, чтобы 
имелась возможность сравнивать рейтинги, полученные в разное время. 
Вообще говоря, однократный рейтинг полезен разве что для принятия 
решений по сокращению штатов. В остальных случаях интерес пред- 
ставляет именно динамика рейтинга. 

Также существенно для нас и то, что для каждого критерия, по кото- 
рому предполагается получать экспертную оценку, должна быть разра- 
ботана шкала. Причем, если нет возможности четкой привязки градаций 
шкалы к какому-то объективному показателю, число градаций не долж- 
но превышать 7. Каждая градация шкалы должна иметь содержательное 
значение (расшифровку). Приведу пример шкалы для критерия «степень 
владения профессиональными навыками». 


Таблица 4. Значения градаций шкалы в баллах 


















































Значение градации Балл 
очень высокая 5 
высокая 4 
средняя 3 
низкая 2 
очень низкая 1 






































Перейдем к весам критериев. Как отмечалось выше, веса критери- 
ев — самое тонкое место в проблеме критериального оценивания. Чаще 
всего веса назначают, исходя из интуитивного представления о срав- 
нительной важности критериев. Однако исследования показывают, что 
человек (эксперт, ЛПР) не способен непосредственно назначать крите- 
риям корректные численные веса. Более того, есть данные, (они еще не 
опубликованы) которые свидетельствуют о том, что человек не может 
корректно назначать веса даже на базе нечисловых шкал. В рамках при- 
кладной дисциплины Оес1$1оп Зс1епсе разработаны надежные методы 
получения весов критериев, однако их рассмотрение выходит за рамки 
данной статьи (см. работу Подиновского [9]). 

Об одном методе получения численных весов критериев все же сле- 
дует упомянуть здесь. Метод, о котором пойдет речь, особенно интересен 
и полезен в том случае, если задача выявления сравнительной важности 
критериев ставится как отдельная, самостоятельная проблема. В этом слу- 
чае, наряду с оценками по критериям, каждый субъект оценивания должен 
выставить каждому объекту, который он оценивает, некую интегральную 
оценку. Такая «оценка преподавателя в целом» выставляется отдельно от 
оценок по критериям и никак не должна на них опираться. Если мы гово- 
рим «отличный работник» и не детализируем эту оценку, то можно счи- 
тать, что мы дали человеку некую интегральную оценку. Если у нас есть 
набор таких интегральных оценок и набор оценок по критериям, то суще- 
ствует корректный математический метод, позволяющий на основе только 
этой информации получить веса критериев. Причем в рамках метода мож- 
но получить также оценку надежности численных значений весов. 
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Рейтинг 
Представим результаты оценок в виде набора следующих таблиц (та- 
блиц будет столько, сколько субъектов оценивания задействовано). 


Таблица оценок объектов субъектом 5, 


















































































































































Таблица 5 
Объекты оценивания к, к, и к, 
объект - 1 Хх хо ы Хи 
объект -2 Хх. х,› = Хх 
объект -п Хх Хх р хи 
Через К, обозначен ]-й критерий. Через х, обозначена оценка 1-го 


объекта по ]-му критерию. 
Ранее мы договорились получить одну интегральную оценку объек- 
та. В этом случае нам понадобится функция 


В =Кхм). (3) 


где В - рейтинг объекта, х — вектор критериальных оценок, \\ — вектор 
весов критериев. 

Поскольку мы также ввели в рассмотрение понятие «достоверность 
оценки», то в итоге оценка каждого объекта будет представлена двумя 
числами: В — рейтингом объекта и У — степенью достоверности этого 
рейтинга. Будем записывать это следующим образом 


О- вм (4 


Возникает естественный вопрос: каков может быть вид функций (2) 
и (3)? В начале статьи уже говорилось о том, что функция (2) не может 
быть аддитивной. То же самое, оказывается, справедливо и для функции 
(3). Вообще говоря, несложно сформулировать систему условий (акси- 
ом), которым должны удовлетворять указанные функции. Труднее подо- 
брать конкретный вид функций, удовлетворяющий всем условиям. 


Необходимые базы данных 

Какие данные нужны для реализации предлагаемых методов оцени- 
вания? Вот примерный перечень: 

1. База данных преподавателей вуза, содержащая следующие сведе- 
НИЯ: 

стоимость 1 часа работы преподавателя, 

‚ степень знания преподавателями друг друга (отдельно в области 
профессиональной деятельности и отдельно в области личностных ха- 
рактеристик). 

2. База данных о психологах, которых можно привлекать к оценке, 
содержащая номенклатуру методов тестирования с указанием необходи- 
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мого времени и стоимости по каждой позиции. В эту же базу нужно по- 
местить данные, характеризующие степень доверия для оценок каждого 
психолога (см. табл. 3). 

3. База экспертов по специальностям, степень владения которы- 
ми предполагается тестировать. Формат тот же, что и для базы психоло- 
гов (вид тестирования, время, стоимость, степень доверия). 

4. База данных преподавателей, которых предполагается оцени- 
вать. 

5. База данных, определяющая для каждого объекта оценивания 
список оценивающих его субъектов. 

Оценка и оптимизация затрат 

Совокупность указанных выше баз данных позволяет достаточно 
точно определить общие затраты $ на выполнение всего комплекса ра- 
бот по оцениванию и достигаемую при этом степень достоверности У 
полученных результатов. Обратим внимание на то обстоятельство, что 
первые 3 базы данных являются справочными, тогда как базы данных 4 
и 5 собственно определяют конкретный профиль работы, т. е. указыва- 
ют, кого нужно оценивать и кто должен это делать. 

Предположим, что базы данных с 1 по 4 неизменны и перед нами 
поставлена задача проектирования базы данных № 5. При этом можно 
решать две важные для практики задачи: 


Задача 1 

При заданном бюджете $ подобрать совокупность субъектов оцени- 
вания таким образом, чтобы степень достоверности У результата была 
максимальна. 


Задача 2 

При заданной степени достоверности У результата подобрать сово- 
купность субъектов оценивания таким образом, чтобы бюджет $ был 
минимальным. 


Обе задачи являются по сути оптимизационными. Для их решения 
понадобится набор ограничений, например, следующего вида: 

количество психологов, привлекаемых для оценки определенно- 
го набора объектов не должно быть менее 2 (вариант — должно быть 
больше нуля), 

количество оценок для определенного набора объектов не долж- 
но быть менее 5, 

. ИТ. п. 

Важно, что планирование и разработка проекта по оценке преподава- 
теля в приведенных выше терминах позволяет обоснованно, так сказать 
«с открытыми глазами», а не на пальцах или на уровне интуиции (как 
это часто бывает) говорить о соотношении стоимости и эффективности 
работ. 


Типичные ошибки 
По нашему опыту, большинство рейтинговых оценок содержат одни 
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и те же ошибки. Полезно свести типичные ошибки в один список. Не- 
которые ошибки были уже описаны в начале статьи. Здесь их описание 
повторяется. 


1. Неверный выбор шкал. 

В технологии экспертного оценивания эксперта упрощенно можно 
рассматривать как некий измерительный прибор. Возникает вопрос о 
точности, с которой этот прибор может измерять. Ответ на этот вопрос 
дан в классической работе [1]. Там показано, что эксперт не способен 
различать более 9 градаций. Можно сказать, что в области обработки 
экспертных оценок закон Миллера играет роль закона Ома в электро- 
технике. Однако буквально в последнее время появилась возможность 
использовать шкалы с большим, чем 9, числом градаций. Но для этого 
нужно применять метод оптимального шкалирования. 


2. Незнание особенностей получения данных от экспертов. 
Часто делается попытка получить от эксперта такую информацию и 
в такой форме, которую он не может дать с достаточной надежностью. 


3. Непосредственное назначение численных весов критериям. 

Во многих работах показано, что такая процедура некорректна. Есть 
гипотеза (еще не проверенная), что человек не может правильно назна- 
чать критериям веса даже в вербальных шкалах. В работе В. В. Подинов- 
ского [9] приведена корректная процедура определения весов критериев 
на базе экспертизы цены замещения критериальных оценок. 


4. Агрегирование критериальных оценок с использованием взвешен- 
ной суммы. 

Строго доказано [3], что взвешенная сумма критериальных оценок 
корректна только тогда, когда критерии попарно независимы по предпо- 
чтению. Это — формальное ограничение для взвешенной суммы. Но есть 
и содержательные ограничения (см. следующий пункт). 


5. Неудачный выбор способа агрегирования. 

Любая аддитивная операция (в том числе и взвешенная сумма) может 
применяться только тогда, когда выполнено условие взаимной компен- 
сации. В противном случае следует рассмотреть другие способы агре- 
гирования [7]. Вообще говоря, строгий подход к выбору методов агре- 
гирования требует детальной проработки аксиоматики, которая должна 
формализовать цель агрегирования в конкретном проекте. 


6. Отсутствие анализа согласованности оценок экспертов. 

Если оценки в большой степени рассогласованы, возникает опас- 
ность получить так называемую «среднюю температуру по больнице». 
В зависимости от количества оценок и вида их распределения следует 
выбирать адекватные способы анализа согласованности. 
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